[レポート] クラウドの効率性、俊敏性、イノベーションをAWSで構築する #STG103 #AWSreInvent

アノテーション テクニカルサポートの川崎です。

本記事は AWS re:Invent 2023 のセッションレポートとなります。

概要

Organizations are building with cloud storage to increase agility, optimize costs, and accelerate innovation. In this session, learn how applications and workloads are taking advantage of the scale, flexibility, and resiliency of cloud storage, and learn about the AWS storage portfolio that makes this possible. Dive deep into design patterns companies use for building data environments for applications migrated with container strategies, stateless applications built with serverless compute, analytics at scale, and training of AI and ML models.

［機械翻訳］ 企業はクラウドストレージを利用して、俊敏性を高め、コストを最適化し、イノベーションを加速しています。本セッションでは、アプリケーションやワークロードがクラウドストレージのスケール、柔軟性、回復力をどのように活用しているか、またそれを可能にするAWSストレージポートフォリオについて学びます。コンテナ戦略で移行されたアプリケーション、サーバーレス・コンピューティングで構築されたステートレス・アプリケーション、スケーラブルなアナリティクス、AIやMLモデルのトレーニングなど、企業がデータ環境の構築に使用している設計パターンを深く掘り下げます。

セッション動画

セッション資料

Build with the efficiency, agility & innovation of the cloud with AWS

セッション情報

STG103

イントロダクション (STG103_01)

こんにちは、私はクリスチャン・スミス、ゴー・トゥ・マーケットの責任者です。みなさんにはストレージデイでSaaSと分析を紹介したことが記憶に新しいかもしれません。同僚のラジェシュ・ヴィジャヤラガヴァンも、中小企業の顧客調査を担当しています。今回のセッションでは、AWSクラウドストレージによる効率、アジリティ、イノベーションをテーマとし、異なるユースケースとそれらのストレージへのマッピングを紹介します。AWSはエンタープライズやクラウドネイティブの用途をサポートする回復力と可用性の高いサービスを提供しています。複数のストレージサービスとクラスがあり、これらは顧客のニーズに基づいて開発されました。私たちの目標は、適切なアプリケーションに適切なストレージクラスをマッピングすることです。AWSのストレージサービスはスケーラブルで、安全で、高性能で、フルマネージドな特性を持ち、コスト効率が高く、世界中に展開されています。これがお客様がストレージサービスを利用する際の私たちの提供方針です。

ストレージサービス (STG103_02)

AWSのストレージサービスの説明を私が簡単に概要しますと、主に3つのカテゴリに分かれています。ブロックサービスにはEBSが含まれ、オブジェクトサービスにはS3やS3 Glacierがあり、ファイルサービスにはFSXファミリとEFSファミリがあります。データ移動に特化したサービスもあり、たとえばSnowファミリはデータをAWSへオフラインで移動するために役立ち、ゲートウェイはデータセンターからのアクセスを提供し、データ同期は大容量の移動に使われます。さらに、AWSバックアップやネイティブスナップショット機能のようなデータ保護サービスも提供しており、全体的にデータを活かすためのサービスです。これにより分析、機械学習、ハイパフォーマンスコンピューティング、ビジネスクリティカルなアプリケーションの実行などが可能です。私たちは顧客がオンプレミスからAWSへ移行する際にストレージコストを60%以上削減できる支援をしています。また、ファイルストレージとオブジェクトストレージを組み合わせてジョブの実行速度を向上させることも可能です。私たちの製品ポートフォリオは顧客のニーズに基づいて構築されており、アプリケーションのユースケースからストレージクラスを逆算することで、ニーズに最適なサービスを提供できます。

データは新しいオイルです (STG103_03)

クリスチャンからの話に感謝します。データが新たな資源として注目され、今日のビジネスではデータの量が著しく増加しています。私たちは、組織が生成するデータや市場データ、さらにはIoTデバイスから生み出される大量のデータを活用して、貴重な洞察を得ようとしています。ただし、それにはセキュリティやプライバシー、規制の遵守といった課題が伴います。AWSストレージは、データを効率的に保存し、機械学習を含む高度な分析を通じて有用な洞察や予測を提供するために役立ちます。 AWSのストレージ利用には3つの段階があり、顧客はまず単純にデータを移行し、その後戦略を練り直してアプリケーションを最新化し、マネージドサービスへの移行やコンテナ、サーバーレス戦略へと進んでいます。この過程でTCOが削減され、最終的には60～70%の節約が可能になります。さらに、AWSストレージは顧客のダウンタイムを大幅に削減し、従業員の生産性を向上させるなど、複数のフェーズで重要な役割を果たしております。これらのストレージ戦略について、詳しく話を進めていきたいと思います。

デザインパターン (STG103_04)

本日は、アプリケーションのユースケースに対して最適なストレージクラスを選ぶためのデザインパターンについてお話します。最初にAWSへのアプリケーション移行について詳しく説明した後、データレイクのデプロイや機械学習、コンテナーを取り入れたビルダーベースのモデル、そしてデータ保護についてフォローアップします。これらはアプリケーションからの作業で、多数のセッションに参加することでさまざまなデザインパターンについて深く知ることができます。私達は200、300、400レベルのセッションやラボを用意しており、FSXやEBSといったサービスに関する様々な会議から学ぶことが可能です。ビジネスクリティカルなアプリケーションの設計はクラウドのSANのようなものだと考えていただければ幸いです。これから、ITベースのユースケースについて説明していきます。

SAN in the Cloud (STG103_05)

私がクラウドのSANについてお話しますと、顧客がAWSへアプリケーションを移行する理由はコスト削減やイノベーション推進など様々です。AWS内の他のサービスとの連携や実行速度の向上によって、テスト開発が促進される例があります。特に、Windowsベースのアプリケーション、SAP、データベース、メインフレームの最新化、VM環境などのユースケースに焦点を当てて話が進められます。ここでは、データベースのワークロードとVMストアに特に焦点を当て、それぞれに合わせたさまざまなデプロイ方法をご紹介します。MSSQLやRDSなどのデプロイにはEBSやFSXを使用可能で、データベースの管理から可用性の向上まで、AWSがサポートします。また、HANAやオラクルの移行についての顧客事例もあり、これらのシナリオにはスケールアウトHANAのような異なるデプロイモードも考慮されます。これらのデプロイはパフォーマンスとコスト効率の最適化を図ります。次に、VMwareについて話を進めていきたいと思います。

AWSのVMware (STG103_06)

VMware Cloud AWSでの移行についてお話します。最近、VM環境をAWSに移行する顧客が増えています。私たちはネイティブRMEとしてのデプロイを含む二つのモードを提供しており、お客様がVMware環境を手軽にAWSに移行できるようにしています。また、「VMware環境の操作エクスペリエンスをそのまま活かしながらAWSにデプロイしたい」と考えている顧客向けに、VMwareツールを使った別の移行モードも提供しています。これにより、お客様は既存のVMware環境をAWSに柔軟に統合できるようになります。

AWSのVMwareクラウド (STG103_07)

VMware Cloud on AWSは特にデータセンターを避難させる際に効果的です。VMwareツールを使ってAWSにスムーズに移行し、その後は最適化の過程を続けていきます。AWSにデプロイされたVMware Cloudはノードベースで、固定サイズのノードを利用しますが、コンピューティングに重点を置いたワークロードに特化しています。つまり、多くのコンピューティングが必要でも、必ずしもアタッチされたすべてのデータを使用するわけではないケースに適しています。新機能の追加により、データ量が多いワークロードに対してもデプロイが可能となり、FSXの追加やNetApp ONTAPの導入により、データ集約型のワークロードのTCOが最適化されています。私たちは革新を続け、今週VMware Cloud on AWSに関してさらなる変更を発表する予定です。

重要なアプリケーションの活用 (STG103_08)

重要なアプリケーションの利用の一つとして、Salesforce.comの例があります。ML環境用のMongoDBアプリケーションを検討していましたが、標準の汎用EBSにデプロイされていたため、パフォーマンスの問題が生じていました。これに対処するために、彼らはio2Bxをデプロイし、IOPSを調整することでML予測アルゴリズムのレンダリング速度を向上させました。この改善は、特に顧客対応において重要であり、顧客体験の向上と迅速な応答が期待できます。このケースでは、Salesforceはio2Bxの採用によって顧客エクスペリエンスの加速を実現しました。

ファイルベースのアプリケーションの設計 (STG103_09)

クラウド内でのファイルベースのアプリケーションについてお話しします。ご存知のように、オンプレミスで稼働する多くのアプリケーションはファイルベースであり、多くのエンタープライズ環境においてSANとNASの使用割合はほぼ同じです。AWSへのデプロイ時、アプリケーションは汎用ファイル共有、ISVベースのアプリケーション、迅速なデータ保護のためのリポジトリの3つのカテゴリに分けられます。これに対応するために、NetApp ONTAP、OpenZFS、Windows File Server、Lustreをマネージドサービスとして提供し、簡単にデプロイが可能です。これによりチームの再トレーニングやアプリケーションの再認定が不要になり、認証プロセスを必要とするISVアプリケーションも容易に導入できます。AWSでは、NetApp環境をオンプレミスからAWSに複製でき、Windows管理者やLinux共有の経験者にも馴染みやすい操作感を提供しています。

完全に管理されたサービスの利点 (STG103_10)

ファイルやブロックに関するフルマネージドサービスを提供する利点は、主にスピードと機敏性です。これによって、私たちは迅速に対応し、新たな複雑さに煩わされることなくコストを下げることができます。OSのアップグレードやパッチの心配、新しい設備の調達やデータセンターへの導入の必要がなく、キャパシティ管理も簡単にグローバルに拡張できます。また、ライセンス管理はすでにコストに含まれており、バックアップ機能との統合により完全なソリューションを実現します。私たちの目標は、ビジネスの成長を妨げる要素を取り除き、顧客に対して最高のサービスを提供することです。私たちはお客様のタスクリストが増え続けることに対応し、運用を効率化するために努力しています。

例 (STG103_11)

素晴らしい例として、2021年にリリースされたNetApp ONTAP用のFSXのケースがあります。初期の顧客の一つであるニューサウスウェールズ州eHealthは大規模なオンプレミスNetApp環境を利用していて、ネイティブのスナップミラーツールを使用してDICOMデータをAWSに迅速にレプリケートしました。これによりセカンダリサイトをデプロイする必要がなく、チームの再トレーニングも不要となり、素早く運用を開始することができました。現在、彼らはさらに多くのONTAPオンプレミスアプリケーションをAWSに移行する計画を進めています。

データレイク (STG103_12)

AWSでのデータレイク構築について話しましょう。重要なのは、さまざまなフォーマットのデータを中央の場所に集めることです。これにより、データ分析や洞察の抽出が可能となります。データレイクの成功には強力な基盤が必要で、S3がその役割を果たします。S3はそのスケーラビリティ、セキュリティ、エコシステムの統合で知られており、多数のオブジェクトやリクエストを処理し、多様な暗号化オプションとアクセス制御ポリシーを提供します。また、RedshiftやAthenaのようなAWSのサービスとの統合だけでなく、SnowflakeやDatabricksといったサードパーティのソフトウェアとも互換性があります。さまざまな垂直分野に対応したデータレイクもS3上に構築可能で、それにより特定の業界のニーズに合わせたデータ管理と分析が行えるようになります。

ストレージクラス (STG103_13)

S3上でデータレイクを構築する際には、ストレージクラス選択が重要です。S3標準は頻繁にアクセスするデータ向けであり、アクセス頻度が低いデータはS3アクセス頻度の低いデータクラスに階層化できるオプションが存在します。バックアップ目的のデータは単一ゾーンIAが適しており、GlacierとGlacier Deep Archiveは長期間保存するデータに向いています。しかし、アクセスパターンが不明な場合は、S3インテリジェント階層化が効果的です。これは機械学習を用いてデータのアクセスパターンに基づき最適な階層に配置し、コストの節約につながります。これにより、お客様は大幅なコスト削減を実現でき、ほとんどのワークロードに適しています。

トムソンロイター (STG103_14)

顧客の使用例として、トムソン・ロイター社のケースを紹介します。同社は5か月以内に分析プラットフォームを立ち上げる必要があり、それはニュースレポートから得た情報を視覚化することを目指していました。また、トムソン・ロイター社は暗号化されたデータ保護と、数千のイベントをストリーミングできるスケーラブルなプラットフォームを求めていました。彼らはS3をデータレイクとして、Kinesisを用いてデータをストリーミングし、Lambdaを使用してサーバーレスでコンピューティングを行うシステムを構築しました。このシステムでは、秒間4000件のイベントを処理し、必要に応じて最大10000件までスケールアップ可能です。このプロセスにより、データの損失やダウンタイムは発生しておらず、バッチ処理も可能になっています。

AWS ML (STG103_15)

AI/MLにおける重要な点は、データ中心のアプローチが必要であることです。データ戦略が基盤となり、データの一元化、コントロールの設定、保持ポリシーの決定、アクセス可能な人、そしてガバナンスを考慮する必要があります。組織全体でデータを活用し、ストリーミングデータから人間のデータまで様々なトレーニングデータ源を一元化することがカギです。注意すべきは、すべてを一度に行うのではなく、随時消費しながら新しいサービスを追加し、システム全体に影響を与えるよう努めることです。S3はデータの中心的なリポジトリとして、データレイクの使用やトレーニングモデルの拡張に最適な場所です。 トレーニング段階では、GPUの飽和が重要で、最適なコストパフォーマンスを達成するためにGPUを活用する必要があります。FSX for LustreをS3バケットに組み込むことで、ミリ秒以下のパフォーマンスを実現し、チェックポイントなどのプロセスを効率化します。最終的にモデルがデプロイされると、すべてが中央で統合された真実の情報源に依存することになります。データにアクセラレータを追加してサポートすることも重要です。

Netflix (STG103_16)

NetflixはAI/MLを多様なユースケースに活用しており、特に独自のMLメディアモデルに対して大規模な分散トレーニングを行っていました。彼らは30テラバイトのノードローカルストレージを持つP4とP5インスタンスを使用し、実行前にデータを同期していましたが、これには時間がかかるという課題がありました。FSXLを導入することで、トレーニングモデルの実行にかかる時間を大幅に短縮し、1週間から1～2日に短縮することができ、パイプラインの改善を4倍にすることが可能になりました。

コンテナ (STG103_17)

コンテナとサーバーレスの話に切り替えましょう。コンテナは、予測可能な実行環境としての役割を果たし、アプリケーションのデプロイを容易にしています。ビジネスロジックをコンテナ化し、Lambdaのサーバーレスや、EKSとECSなどのマネージドフレームワークを使用しています。コンテナのステートレスな性質を生かし、必要に応じて交換でき、永続ストアが必要になります。当社のファイル、オブジェクト、EBS製品はすべてコンテナサービスと統合されており、幅広いアプリケーションクラスをサポートします。 ストレージの選択については、データベース作成時はEBSインターフェイスが、データ規模が巨大な場合やローレイテンシーが必要な場合はファイルインターフェイスが重要です。マルチAZ環境でコンテナ化されたアプリケーションが増えており、これによりリージョン内のAZ間での展開が容易になるため、高可用性アプリケーションが手軽に得られます。コンテナの利用は、機械学習や分析ベースのアプリケーションなど、多様なユースケースに拡がっており、現代の展開方法に革命をもたらしています。

T-Mobile (STG103_18)

オンプレミスのマイクロサービス環境を運用していたT-Mobileは、AWSへ移行し、マルチAZ EFS環境に転換しました。これによりコンテナは異なるAZに配置でき、データは永続化されてどこからでもアクセス可能になりました。結果としてアプリケーションごとに40～70%のコスト節約と展開時間の15%短縮が実現しました。データ保護については、顧客は古くからのバックアップベンダーや新しいプレイヤーと協力またはAWSのストレージゲートウェイというハイブリッド戦略を使用し、バックアップ管理を行っています。AWSバックアップとの統合により、バックアップアクティビティのガバナンスと管理が可能となり、複数のサービスで一元的なデータ保護ポリシーを展開できます。WorkdayはAWSバックアップ導入後、バックアップの自動化と管理を大幅に簡素化し、開発者は製品強化に集中できるようになりました。

所感

レベル100のセッション、ということで、理解しやすい内容になっていたかと思います。

AWSが提供する広範なストレージソリューションを軸に、コンテナ化とマイクロサービスアーキテクチャ、AI/MLの活用、データの保護という重要なトピックに触れた内容は、今後のクラウド戦略において重要なポイントとなりそうです。

本セッションの内容に興味を持たれた方は、上部のリンクからセッション動画、セッション資料をご覧ください。

アノテーション株式会社について

アノテーション株式会社は、クラスメソッド社のグループ企業として「オペレーション・エクセレンス」を担える企業を目指してチャレンジを続けています。「らしく働く、らしく生きる」のスローガンを掲げ、様々な背景をもつ多様なメンバーが自由度の高い働き方を通してお客様へサービスを提供し続けてきました。現在当社では一緒に会社を盛り上げていただけるメンバーを募集中です。少しでもご興味あれば、アノテーション株式会社WEBサイトをご覧ください。